Linear_Regression_Theory

线性回归问题说明

有 $N$ 个样本 $(X_{i}, Y_{i}), i\in (1,2\cdots N)$ ，

$X_{i} = [X_{i}^{1}, X_{i}^{2}, \cdots X_{i}^{m-1}]$ 表示每个样本有 $m-1$ 个特征。

现在为每个样本均添加一个值为1的特征，

也就是令 $X_{i} = [X_{i}^{1},X_{i}^{2},\cdots X_{i}^{m-1},X_{i}^{m}]$ ，其中 $X_{i}^{m} = 1$ 。

这样操作本质就是将 $w*X b$ 中的 $w$ 和 $b$ 合为一个 $W$ ，便于计算。

要拟合的回归方程形式为 $\bar{Y} = X \cdot W$ ，其中

$X = \begin{bmatrix} X_{1}^{1},X_{1}^{2},\cdots ,X_{1}^{m}\\ X_{2}^{1},X_{2}^{2},\cdots ,X_{2}^{m}\\ \vdots\\ X_{N}^{1},X_{N}^{2},\cdots ,X_{N}^{m}\\ \end{bmatrix}$ ， $Y = \begin{bmatrix} Y_{1}\\ Y_{2}\\ \vdots\\ Y_{N}\\ \end{bmatrix}$ ， $W = \begin{bmatrix} W_{1}\\ W_{2}\\ \vdots \\ W_{m}\\ \end{bmatrix}$

得到的 $W$ 要使得最小二乘代价函数

$\mathit{cost} = \frac{1}{2N}\sum_{i=1}^{N}(\bar{Y_{i}} - Y_{i})^{2}=\frac{1}{2N}\sum_{i=1}^{N}(X_{i}\cdot W - Y_{i})^{2}=\frac{1}{2N}(X\cdot W-Y)^{2}$

最小。

正规方程推导

由上可知，也就是使 $(X\cdot W - Y)^{2}$ 的值最小。令

$C = (X\cdot W - Y)^{2}\\ ........ =(X \cdot W - Y)^{T}\cdot (X \cdot W - Y)\\ ........=W^{T}\cdot X^{T}\cdot X\cdot W-W^{T}\cdot X^{T}\cdot Y-Y^{T}\cdot X\cdot W + Y^{T}\cdot Y$

计算导数，令其等于0，也就是有

$\frac{d \mathit{C}}{dW} =2 \times X^{T}\cdot X\cdot W -X^{T}\cdot Y-(Y^{T}\cdot X)^{T}\\ ............=2 \times( X^{T}\cdot X\cdot W -X^{T}\cdot Y)\\ ............=0\\ \\ ........\Rightarrow X^{T}\cdot X\cdot W =X^{T}\cdot Y\\ ........\Rightarrow \mathbf{W = (X^{T}\cdot X)^{-1}\cdot X^{T}\cdot Y }$

梯度下降推导

计算代价函数 $\mathit{cost}$ 对 $W$ 的梯度：

$\bigtriangledown \mathit{cost} = \frac{1}{2N} \bigtriangledown \mathit{C}\\ ...............=\frac{1}{N}(X^{T}\cdot X\cdot W-X^{T}\cdot Y)\\ ...............=\frac{1}{N}(X^{T}\cdot (X\cdot W -Y))$

更新 $W$ ：

$\mathbf{W = W - \boldsymbol{\eta} \times \boldsymbol{\bigtriangledown \mathit{cost}} }$

其中 $\eta$ 表示学习率。